AI Papers Daily

#inference acceleration

5 篇

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

扩散草稿 + 自回归验证加速文档 OCR

🧭 扩散草稿 + 自回归验证加速生成

Trillion Labs · Korea University · Seoul National University

参数共享 AR-block-diffusion 模型并行草稿 + AR 验证，实现 OCR 解码 3.94 倍加速

📌 工作参考价值（4 点）

• 生成式推荐/广告文案等 input-grounded 长文本任务可借鉴：用 diffusion 并行生成多个 draft token，再用共享参数的 AR 路径做因果验证，接受多 token 提交，无需额外 drafter 网络。
• GRPO 直接优化共享 drafter 参数，用序列级或结构级奖励（如文本格式、关键词覆盖）避免 diffusion trajectory likelihood 估计，训练更稳定且可优化业务目标。
• 自推测解码可嵌入现有 serving 框架（如 SGLang），平均每 forward 提交 9.7 tokens，适合高吞吐低延迟的在线文案生成、query 推荐场景。
• OCR/文档理解中的结构化输出（HTML/LaTeX）奖励信号可类比于电商场景的结构化商品描述、广告落地页生成，可直接复用奖励设计思路。

Other | 2026-09-22 | cs.CL | score 6/10

self-speculative decodingdiffusionOCRGRPOinference accelerationAR verification

A Practical Investigation of Training-free Relaxed Speculative Decoding

无需训练的宽松投机解码实用研究

🧭 LLM推理加速 · 投机解码优化

Imperial College London · Graphcore

统一宽松投机解码框架，实证发现放松保真度需仔细能力评估，且依赖强草稿模型

📌 工作参考价值（4 点）

• 在电商搜索自动补全、对话推荐等延迟敏感场景，可尝试放松标准投机解码的无损约束以榨取更多加速，但必须针对具体任务（如Query推荐准确率、CVR）设计能力评估，在线灰度实验必不可少。
• 草稿模型必须是一个足够好的语言模型（如原LLM的压缩版或同架构小模型），不宜使用纯为多token预测设计的轻量专用草稿器，否则加速但质量崩坏。
• 统一框架中，Top‑k与Top‑p结合的接受准则在权衡中表现较鲁棒，可作为工程落地的起点，无需额外训练。
• 当线上主模型与草稿模型输出分布差异大时，放松策略可能引入难以察觉的降质，建议在离线多维度评测（困惑度、任务指标、人工评估）中模拟长尾请求，避免“平均加速好看但头尾体验分化”。

LLM | 2026-07-09 | cs.LG | score 6/10

speculative decodingrelaxed verificationinference accelerationdraft modelspeed-quality trade-off

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding

BlockPilot：基于扩散推测解码的实例自适应块大小策略学习

🧭 推测解码 · 实例自适应块大小

AMAP, Alibaba Group

提出从预填充表示学习预测最优块大小的策略，突破固定块限制，提升扩散推测解码效率

📌 工作参考价值（4 点）

• 在大模型在线推理（如对话式推荐、搜索 Agent）中，可集成该自适应策略，根据 prompt 的预填充特征动态选择最优块大小，无痛提升加速比，且预测开销极小。
• 方法即插即用，无需修改原扩散推测解码框架，适合在已有推理管道中快速部署，降低工程改动成本。
• 揭示了最优块大小的局部结构——集中在训练块尺寸附近，可据此设定搜索范围或剪枝预测类别数，简化策略学习。
• 对于需要低延迟响应的业务场景（如实时广告文案生成、个性化推送），该技术能有效减少端到端延迟，提升用户体验。

LLM | 2026-06-29 | HF Daily | score 6/10

speculative decodingdiffusion modelblock sizeadaptive policyinference accelerationdLLM

Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models

面向时间序列语言模型的自适应压缩：超越统一Token处理

🧭 时间序列LLM的Token压缩与推理加速

Zhejiang University · Harbin Institute of Technology · Shandong University

从非对称Token视角提出自适应预算框架，在频域压缩时间序列Token并逐层削减提示Token，实现最高7.68倍推理加速与78%设置下的性能提升。

📌 工作参考价值（4 点）

• Token压缩思路可迁移到多模态LLM推理：利用输入数据在频域/信息密度的非均匀性，设计自适应压缩模块，在电商图文理解、Agent对话历史管理等场景降低 KV Cache 开销。
• 动态Prompt Token削减策略：观察到深层提示影响力衰减，可借鉴在 Agent 的 long-context 任务中，对不同深度层注入不同长度的 System Prompt 或历史上下文，优化内存占用。
• 训练时加入压缩预算约束：在训练或微调阶段引入 Token 压缩目标，让模型学会保留关键信息，可应用于生成式推荐模型的用户行为序列建模，加速长序列处理。
• 频域变换作为通用压缩手段：将时序或序列信号变换到频域后根据能量分布进行压缩，可尝试用于电商点击序列的频域压缩表示，再送入推荐模型，在保证效果的同时减少序列长度。

LLM | 2026-06-11 | cs.CL | score 6/10

adaptive token compressiontime seriesLLMinference accelerationfrequency domainasymmetric token

Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding

少草稿，多检索：投机解码的混合树构建

🧭 投机解码 · 草稿树优化

Zhejiang University · Qwen Applications Business Group of Alibaba · University of Science and Technology of China

通过剪枝释放预算并用检索补偿，构建混合草稿树，打破稠密树与剪枝树的帕累托权衡

📌 工作参考价值（4 点）

• 推理加速的预算重新分配：将剪枝释放的 VRAM 与算力用于检索高预测性 token，适合电商搜索/推荐系统中低延迟生成场景的资源调度。
• 无损、免训练的即插即用：方法无需额外训练，可直接嵌入现有投机解码框架，对模型效果零损失，便于在 Agent 对话或推荐结果生成等在线服务中快速验证。
• 检索与生成的深度融合：通过拓扑嫁接将检索 token 无缝插入树结构，启发在生成式推荐中，利用外部知识库或高频序列库补充生成草稿，提升命中率。
• 长上下文与大规模模型的稳定增益：在 235B 大模型和 64K 长序列上表现突出，为电商大模型（如商品描述生成、多轮对话）的实时推理提供高效加速方案。

LLM | 2026-05-18 | HF Daily | score 7/10

speculative decodingdraft treepruningretrievalinference accelerationhybrid tree